Knowledge distillation is often used to transfer knowledge from a strong teacher model to a relatively weak student model. Traditional knowledge distillation methods include response-based methods and feature-based methods. Response-based methods are used the most widely but suffer from lower upper limit of model performance, while feature-based methods have constraints on the vocabularies and tokenizers. In this paper, we propose a tokenizer-free method liberal feature-based distillation (LEAD). LEAD aligns the distribution between teacher model and student model, which is effective, extendable, portable and has no requirements on vocabularies, tokenizer, or model architecture. Extensive experiments show the effectiveness of LEAD on several widely-used benchmarks, including MS MARCO Passage, TREC Passage 19, TREC Passage 20, MS MARCO Document, TREC Document 19 and TREC Document 20.
translated by 谷歌翻译
知识蒸馏是将知识从强大的教师转移到有效的学生模型的有效方法。理想情况下，我们希望老师越好，学生越好。但是，这种期望并不总是成真。通常，由于教师和学生之间的不可忽略的差距，更好的教师模型通过蒸馏导致不良学生。为了弥合差距，我们提出了一种渐进式蒸馏方法，以进行致密检索。产品由教师渐进式蒸馏和数据进行渐进的蒸馏组成，以逐步改善学生。我们对五个广泛使用的基准，MARCO通道，TREC Passage 19，TREC文档19，MARCO文档和自然问题进行了广泛的实验，其中POD在蒸馏方法中实现了密集检索的最新方法。代码和模型将发布。
translated by 谷歌翻译
激活函数是元素的数学函数，在深神经网络（DNN）中起着至关重要的作用。已经提出了许多新颖和复杂的激活功能来提高DNN的准确性，但在训练过程中还可以通过反向传播消耗大量记忆。在这项研究中，我们提出了嵌套的正向自动分化（正向AD），专门针对用于记忆效率的DNN训练的元素激活函数。我们在两个广泛使用的深度学习框架（Tensorflow和Pytorch）中部署了嵌套的AD，分别支持静态和动态计算图。我们的评估表明，在相同的记忆降低率下，嵌套的前AD嵌套将记忆足迹降低到1.97倍，比基线模型降低了20％。
translated by 谷歌翻译
神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees
translated by 谷歌翻译
量化是一种降低DNN模型的计算和记忆成本的技术，DNN模型越来越大。现有的量化解决方案使用固定点整数或浮点类类型，这些量子的好处有限，因为两者都需要更多位以保持原始型号的准确性。另一方面，可变长度量化使用低位量化对正常值和高精度的分数对异常值的一部分。即使这项工作带来了算法的好处，但由于长度的编码和解码，它也引入了重要的硬件开销。在这项工作中，我们提出了一种称为ANT的固定长度自适应数值数据类型，以通过微小的硬件开销实现低位量化。我们的数据类型ANT利用了两项关键创新来利用DNN模型中的张贴内和调整的自适应机会。首先，我们提出了一种特定的数据类型Flint，该数据类型结合了Float和INT的优势，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，该框架根据其分布特性选择每个张量的最佳类型。我们为蚂蚁设计了统一的处理元件体系结构，并显示其与现有DNN加速器的易于集成。我们的设计导致2.8 $ \ times $速度和2.5 $ \ times $ $ $ $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $比最先进的量化加速器提高了能源效率。
translated by 谷歌翻译
随着视频数量的越来越多，对技术的需求很大，可以帮助人们迅速导航到他们感兴趣的视频片段。但是，当前的视频理解主要理解主要是视频内容摘要，而几乎没有努力，而对探索视频的结构。受文本轮廓生成的启发，我们介绍了一项新颖的视频理解任务，即视频大纲生成（VOG）。该任务定义为包含两个子任务：（1）首先根据内容结构对视频进行分割，然后（2）为每个段生成一个标题。要学习和评估VOG，我们注释了一个10K+数据集，称为Duvog。具体来说，我们使用OCR工具来识别视频的字幕。然后，要求注释者将字幕分为章节，并将每个章节分为标题。在视频中，突出显示的文本往往是标题，因为它更有可能引起人们的注意。因此，我们提出了一个视觉字幕功能增强的视频大纲生成模型（VSENET），该模型将文本字幕及其视觉字体大小和位置作为输入。我们将VOG任务视为一个序列标记问题，该问题提取了跨标题的位置，然后将其重写以形成最终大纲。此外，基于视频概述和文本概述之间的相似性，我们使用大量文章带有章节标题来预先我们的模型。 Duvog上的实验表明，我们的模型在很大程度上胜过其他基线方法，对于视频分割水平达到了77.1的F1得分，对于标题生成级别的Rouge-L_F0.5的85.0。
translated by 谷歌翻译
联合学习（FL）在中央服务器的帮助下支持多个客户的全球机器学习模型的分布式培训。每个客户端持有的本地数据集从未在FL中交换，因此保护本地数据集隐私受到保护。尽管FL越来越流行，但不同客户的数据异质性导致客户模型漂移问题，并导致模型性能降级和模型公平不佳。为了解决这个问题，我们在本文中使用全球本地知识融合（FEDKF）计划设计联合学习。 FEDKF中的关键思想是让服务器返回每个训练回合中的全局知识，以与本地知识融合，以便可以将本地模型正规化为全球最佳选择。因此，可以缓解客户模型漂移问题。在FEDKF中，我们首先提出了支持精确的全球知识表示形式的主动模型聚合技术。然后，我们提出了一种无数据的知识蒸馏（KD）方法，以促进KD从全局模型到本地模型，而本地模型仍然可以同时学习本地知识（嵌入本地数据集中），从而实现了全局 - 本地知识融合过程。理论分析和密集实验表明，FEDKF同时实现高模型性能，高公平性和隐私性。纸质审查后，项目源代码将在GitHub上发布。
translated by 谷歌翻译
较轻，更快的型号对于在资源有限设备（例如智能手机和可穿戴设备）上部署视频超分辨率（VSR）至关重要。在本文中，我们开发了残留的稀疏连接学习（RSCL），这是一种结构化的修剪方案，以减少卷积内核的冗余，并获得较小的性能下降的紧凑型VSR网络。但是，残留的块要求将跳过的修剪过滤器索引和残留连接相同，这对于修剪很棘手。因此，为了减轻剩余块的修剪限制，我们通过保留特征通道并仅在重要的通道上运行来设计残留的稀疏连接（RSC）方案。此外，对于Pixel-Shuffle操作，我们通过将几个过滤器分组为修剪单元来设计一种特殊的修剪方案，以确保修剪后功能通道空间转换的准确性。此外，我们引入了时间登录（TF），以减少具有时间传播的隐藏状态的修剪误差放大。广泛的实验表明，提出的RSCL在定量和质量上明显优于最新方法。代码和模型将发布。
translated by 谷歌翻译
诸如说服力之类的复杂对话设置涉及交流态度或行为的变化，因此即使与主题没有直接相关，用户的观点也需要解决。在这项工作中，我们贡献了一个新颖的模块化对话系统框架，该框架将事实信息和社会内容无缝地整合到有说服力的对话中。我们的框架可以推广到任何混合社交和任务内容的对话任务。我们进行了一项研究，将用户对框架的评估与基线端到端生成模型进行了比较。我们发现，与没有明确处理社交内容或事实问题的端到端模型相比，我们的框架在包括能力和友善的各个方面更受欢迎。
translated by 谷歌翻译
联合学习在具有分布式数据的设备上进行模型，同时保护隐私并获取类似于集中式ML的模型。具有数据和计算能力的大量工人是联邦学习的基础。然而，不可避免的成本阻止自私的工人免费服务。此外，由于数据隔离，任务发布者缺乏选择，评估和支付具有高质量数据的可靠工人的有效方法。因此，我们设计了一种基于拍卖的激励机制，具有声誉和贡献测量的横向联合学习。通过设计合理的衡量贡献方法，我们建立了工人的声誉，这很容易下降，难以改善。通过反向拍卖，工人竞标任务，任务发布者选择合作者组合声誉和出价价格。通过预算制约，获奖工人根据业绩支付。我们证明我们的机制满足诚实的工人，预算可行性，真实性和计算效率的个人合理性。
translated by 谷歌翻译